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(57) Abstract 

According to the invention, spectral voice characteristics are determined in a natural language expression, whereby the expression 
is digitized and subjected to a wavelet transformation. The speaker-specific characteristics arise from the different transformation steps 
of the wavelet transformation. Within the scope of a voice synthesis, these characteristics can be compared with characteristics .of other 
expressions in order to generate a continuously sounding synthetic voice signal for the human ear. Alternatively, the characteristics can 
also be modified in a targeted manner in order to counteract a perceptive dissonance. 

(57) Zusaromenfassung 

Es werden spektrale Sprachcharakteristika in einer natUrlichsprachlichen Aufierung bestimmt, wobei die Aufierung digitalisiert und 
einer Wavelet-Transformation unterzogen wird. Aus den unterschiedlichen Transformationsstufcn der Wavelet-Transformation gehen die 
sprecherspezifischen Charakteristika hervor. Diese Charakteristika konnen im Rahmen einer Sprachsynthese mit Charakteristika anderer 
AuBerungen verglichen werden, urn ein fur das menschliche Ohr kontinuierlich klingendes synthetisches Sprachsignal zu erzeugen. Altemativ 
konnen die Charakteristika auch gezielt verandert werden, urn einer perzeptiven Dissonanz entgegenzuwirken. 
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Beschreibung 

Verfahren und Anordnung zur Bestimmung spektraler 
Sprachcharakteristika in einer gesprochenen AuBerung 

5 

Die Erfindung betrifft ein Verfahren und eine Anordnung zur 
Bestimmung spektraler Sprachcharakteristika in einer 
gesprochenen Auflerung. 

10 Bei einer konkatenativen Sprachsynthese werden einzeine Laute 
aus Sprachdatenbanken zusammengesetzt. Urn dabei einen fur das 
menschliche Ohr natiirlich klingenden Sprachverlauf zu 
erhalten, sind Diskontinuitaten an den Punkten, wo die Laute 
zusammengesetzt werden (Konkatenationspunkte) zu vermeiden. 

15 Die Laute sind dabei insbesondere Phoneme einer Sprache oder 
eine Zusammensetzung mehrerer Phoneme. 

Eine Wavelet-Transformation ist aus [1] bekannt. Bei der 
Wavelet-Transformation ist durch ein Wavelet-Filter 

20 gewahrleistet , daii jeweils ein Hochpaftanteil und ein ■ 

Tiefpaflanteil einer nachf olgenden Transf ormationsstuf e ein 
Signal einer aktuellen Trans f ormationsstuf e vollstandig 
wiederherstellen . Dabei erfolgt von einer 
Transf.ormationsstuf e zur nachsten eine Reduktion der 

25 Aufldsung des Hochpaftanteils bzw. Tief paftanteils (engl. 
Fachbegriff: "Subsampling" ) . Insbesondere ist durch das 
Subsampling die Anzahl der Transf ormationsstuf en endlich. 

Die Aufgabe der Erfindung besteht darin, ein Verfahren und 
30 eine Anordnung zur Bestimmung spektraler 

Sprachcharakteristika anzugeben, mit deren Hilfe insbesondere* 
eine natiirlich wirkende ■ synthetische Sprachausgabe bes timmbar 
ist. 

35 Diese Aufgabe wird gemaft den Merkmalen der unabhangigen 
Patentansprtiche gelost . 
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Im Rahmen der Erfindung wird ein Verfahren angegeben zur 
Bestimmung spektraler Sprachcharakteristika in einer 
gesprochenen AuBerung. Dazu wird die gesprochenen AuBerung 
digitalisiert und einer Wavelet-Transformation unterzogen. 
5 Anhand unterschiedlicher Transf ormationsstuf en der Wavelet- 
Transformation werden die sprecherspezif ischen 
Charakteristika ermittelt . 

Dabei ist es insbesondere ein Vorteil, daB bei der Wavelet- 
.10 Transformation mittels eines HochpaBf ilters und eines 
TiefpaBf ilters die AuBerung aufgeteilt wird und 
unterschiedliche HochpaBanteile bzw . Tief paBanteile 
verschiedener Transf ormationsstuf en sprecherspezif ische 
Charakteristika enthalten. 

15 

Die einzeinen HochpaBanteile bzw . Tief paBanteile 
verschiedener Trans f ormationsstuf en stehen fur vorgegebene 
sprecherspezif ische Charakteristika, wobei sowohl 
HochpaBanteil als auch Tief paBanteil einer jeweiligen 

20 Transformationsstufe, also das jeweilige Charakteristikum, 

getrennt von anderen Charakteristika modifiziert werden kann. 
Setzt man bei der inversen Wavelet-Transformation aus den 
jeweiligen HochpaB- und Tief paBanteilen der einzeinen 
Transformationsstuf en wieder das urspriingliche Signal 

25 zusammen, so ist gewahrleistet , daB genau das gewunschte 

Charakteristikum verandert worden ist. Es ist somit moglich 
bestimmte vorgegebene Eigenarten der AuBerung zu verandern, 
ohne daB dadurch der Rest der AuBerung beeinfluBt wird. 

30 Eine Ausgestaltung besteht darin, daB vor der Wavelet- 

, Transformation die AuBerung gefenstert, also eine vorgegebene 
Menge von Abtastwerten ausgeschnitten, und in den 
Frequenzbereich transf ormiert wird. Hierzu wird insbesondere 
eine Fast- Fourier-Trans formation (FFT) angewandt . 



Eine weitere Ausgestaltung besteht darin, daB ein 
HochpaBanteil einer Transformationsstufe in einen Realteil 



WO 99/59134 



PCT/DE99/01308 



3 . 

und einen Imaginarteil aufgeteilt wird. Der Hochpaftanteil der 
Wavelet-Transformation entspricht dem Dif f erenzsignal 
zwischen dem aktuellen Tief paBanteil und dem Tief pafianteil 
der vorhergehenden Transf ormationsstuf e . 

5 

Insbesondere besteht eine Weiterbildung darin, die Zahl der 
durchzuf uhrenden Transf ormationsstuf en der Wavelet- 
Transformation dadurch zu bestimmen, daii in der letzten 
Transf ormationsstuf e, die aus hintereinandergeschalteten 
10 Tiefpassen besteht, ein Gleichanteil der AuBerung enthalten 
ist. Dann ist das Signal als Ganzes darstellbar durch seine 
Wavelet-Koef f izienten . Dies entspricht der vollstandigen 
Transformation der Information des Signalausschnitts in den 
Wavelet-Raum. 

15 

Wird insbesondere nur der jeweilige Tief paBanteil weiter 
transf ormiert (mittels eines HochpaB- und eines 
TiefpaBf liters) , so verbleibt -als HochpaBanteil einer 
Transf ormationsstuf e das Dif f erenzsignal , wie oben erlautert. 
20 Kumuliert man Dif f erenzsignaie (HochpaBanteile ) uber die 
Transf ormationsstuf en, erhalt man in der letzten 
Transf ormationsstuf e als kumulierten* HochpaBanteil die 
Information der gesprochenen AuBerung ohne Gleichanteil. 

25 Im Rahmen einer zusatzlichen Wei terbildung sind die 

sprecherspezif ischen Charakteris tika identif izierbar als: 

a) Grundf requenz : 

Die Schwingung des Hochpafianteils der ersten oder der 
% 30 zweiten Transf ormationsstuf e der Wavelet- 

Transformation laftt die Grundf requenz der AuBerung- 
erkennen. Die Grundf requenz zeigt'an, ob der Sprecher 
ein Mann oder einen Frau ist. 



35 



b) 



Form der spektralen Kullkurve: 

Die spektrale Hullkurve enthalt Information uber -eine 
Transf erf unktion des Vokaltrakts bei der Artikulation . 



WO 99/59134 



PCT/DE99/01308 
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In einem s t immhaf ten Bereich wird die spektrale 
Hullkurve von den Formanten dominiert. Der 
Hochpaftanteil einer hoheren Transf ormationsstuf e der 
Wavelet-Transformation enthalt diese spektrale 
Hullkurve . 

c) Spectral Tilt (Rauchigkeit ) : 

Die Rauchigkeit in einer Stimme wird als negative 
Steigung im Verlauf des vorletzten Tief paftanteils 
sichtbar . 

Die sprecherspezifischen Charakteristika a) bis c) sind bei 
der Sprachsynthese von grofter Bedeutung. Wie eingangs 
erwahnt, bedient man sich bei der konkatenativen 
Sprachsynthese grower Mengen realgesprochener Aufterungen, aus 
denen Beispiellaute ausgeschnitten und spater zu einem neuen 
Wort zusammengesetzt werden ( synthetisierte Sprache) . Dabei 
sind Diskontinuitaten zwischen zusammengesetzten Lauten von 
Nachteil, da diese vom menschlichen Ohr als unnaturlich 
wahrgenommen werden. Urn den Diskontinuitaten entgegenzuwirken 
ist es von Vorteil, direkt die perzeptiv relevanten Groften zu 
erfassen und ggf. zu vergleiche und/oder einander anzupassen. 

Dies kann geschehen durch direkte Manipulation, indem ein 
Sprachlaut in mindestens einer seiner sprecherspezifischen 
Charakteristika angepaftt wird, so daft er in dem akustischen 
Kontext der konkatenativ verknupften Laute nicht als storend 
wahrgenommen wird. Auch ist es moglich, die Auswahl eines 
passenden Lautes daran auszurichten, daft sprecherspezif ische 
Charakteristika von zu verknupf enden Lauten moglichst gut 
zueinander passen, z.B. daft den Lauten gleiche oder ahnliche 
Rauchigkeit zu eigen ist. 

Ein Vorteil der Erfindung besteht darin, daft die spektrale 
Hullkurve den Artikulationstrakt des Sprechers widerspiegel t 
und nicht, wie z.B. ein Polstellenmodell, auf Formanten 
gestutzt ist. Weiterhin gehen bei der. Wavelet-Transformation 
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als nichtparametrischer Barstellung keine Daten verloren, die 
AuBerung kann stets vollstandig rekonstruiert werden. Die aus 
den einzelnen Transf ormationsstuf en der Wavelet- 
Transformation hervorgehenden Daten sind linear voneinander 
5 unabhangig, konnen somit getrennt voneinander beeinfluBt und 
spater wieder zu der beeinf luBten AuBerung verlustlos - 
zusammengesetzt werden. 

10 Weiterhin wird eine Anordnung zur 3es timmung spektraler 

Sprachcharakteristika angegeben, die eine Prozessoreinheit 
aufweist, die derart eingerichtet ist, daB eine AuBerung . 1 . 
digitalisierbar ist. Daraufhin wird die AuBerung einer 
Wavelet-Transformation unterzogen und anhand 

15 unterschiedlicher Transf ormationsstuf en werden 
sprecherspezif ische Charakteris t ika ermittelt . 

Diese Anordnung ist insbesondere geeignet zur Durchfuhrung 
des er f indungsgemaBen Verfahrens oder einer seiner vorstehend 
20 erlauterten Wei terbildungen . 

Weiterbildungen der Erfindung ergeben sich auch aus den 
abhangigen Anspriichen . 

25 Ausf iihrungsbeispiele der Erfindung werden nachfolgend anhand 
der Zeichnung dargestellt und erlautert. 

Es zeigen 

30 Fig.l eine Wavelet-Funktion; 

Fig. 2 , v eine Wavelet-Funktion, unterteilt nach Realteil und 
Imaginarteil ; 

35 Fig. 3 eine kaskadierte Fil terstruktur , die die 

Transf ormationss chr it te der Wave let- Trans format ion 
darstellt; 
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Fig. 4 Tief palianteile und Hochpailanteile unterschiedlicher 
Trans f ormat ionsstuf en; 

5 Fig. 5 Schritte der konkatenativen Sprachsynthese . 



Fig.l zeigt eine Wavelet-Funktion, die bestimmt ist durch - 




wobei 

f die Frequenz , 
a eine Standardabweichung und 
15 c eine vorgegebene Normierungskons tante 

bezeichnen. 

Insbesondere ist die Standardabweichung a bestimmt durch die 
vorgebbare Stelle des Seitenbandminimums 101 in Fig.l. 

20 

Fig. 2 zeigt eine Wavelet-Funktion mit einem Realteil gemaft 
Gleichung (1) und einer Hilbert-Transformierten H des 
Realteils als Imaginarteil . Die kompiexe Wavelet-Funktion 
ergibt sich somit zu 

25 

*¥(f) = M/(f) + j • H{ V (f)} (2) . 

Die Konstante c aus Gleichung (1) wird verwendet, urn die 
kompiexe Wavelet-Funktion zu normieren: 

30 

00 

} T(f) • T(f) df = 1 (3) , 

— QO 

wobei ¥ die konjugiert kompiexe Wavelet-Funktion bezeichnet. 
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Fig. 3 zeigt die kaskadierte Anwendung der Wavelet- 
Transformation. Ein Signal 301 wird sowohl durch einen 
Hochpafi HP1 302 als auch durch einen Tiefpafl TP1 305 
gefiltert. Dabei findet insbesondere ein Subsampling statt, 
d.h. die Anzahl der abzuspeichernden Werte wird pro Filter 
reduziert. Eine inverse Wavelet-Transformation gewahrleistet , 
daft aus dem Tiefpaflanteil TP1 305 und dem Hochpaftanteil HP1 
304 wieder das urspriingliche Signal 301 rekonstruierbar ist. 

Im Hochpaft HP1 302 wird getrennt nach Realteil Rel 303 und 
Imaginarteil Iml 304 gefiltert. 

Das Signal 310 nach dem Tief pafif ii ter TP1 305 wird erneut 
sowohl durch einen HochpaB HP2 306 als auch durch einen 
Tiefpaft TP2 309 gefiltert. Der Hochpaft HP2 306 umfaflt wieder 
einen Realteil Re2 307 und einen Imaginarteil. Im2 308. Das 
Signal nach der zweiten Transf ormationsstuf e '311 wird wieder 
gefiltert, usf. 

Geht man von einem ( FFT-trans.f ormierten) Kurzzeitspektrum mit 
256 Werten aus, so werden acht Transf ormationsschri tte 
durchgefuhrt ( Subsamplingrate : 1/2), bis das Signal aus dem 
letzten Tiefpaftf ilter TP8 dem Gleichanteil entspricht. 

In Fig. 4 sind verschiedene Transf ormationsstuf en der Wavelet- 
Transformation, unterteilt nach Tief paiianteilen (Figuren 4A, 
4C und 4E) und Hochpafianteilen (Figuren 4B, 4D und 4F) 
dargestellt . 

Aus dem Hochpaftanteil gemafl Fig.4B ist die Gruritif requenz der ■ 
gesprochenen Aufterung ersichtlich. Neben den Schwankungen in,, 
der Amplitude ist deutlich eine uberwiegende Periodizitat im. 
wavelet-gef ilterten Spektrum zu erkennen, die Grundf requenz 
des Sprechers. Anhand der Grundf requenz ist es moglich, 
vorgegebene Auflerungen bei der Sprachsynthese einander 
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anzupassen oder passende Auflerungen aus einer Datenbank mit 
vorgegebene Aufterungen zu bestimmen . 

Im Tiefpaftanteil von Fig.4C sind als ausgepragte Minima und 
5 Maxima die Formanten des Sprachsignalausschnitts (die Lange 
des. Sprachsignalausschnitts entspricht in etwa der doppelten 
Grundf requenz) dargestelit. Die Formanten reprasentieren 
Resonanzf requenzen im Vokaltrakt des Sprechers . Die deutliche 
Darsteilbarkeit der Formanten ermoglicht eine Anpassung 
10 und/oder Auswahl passender Lautbausteine bei der 
konkatenativen Sprachsynthese . 



Im Tiefpaiianteil der vorletzten Transf ormationss tuf e (bei 256 
Frequenzwerten im Originalsignal : TP7), kann die Rauchigkeit 
15 einer Stimme ermittelt werden. Der Abstieg.des Kurvenverlauf s 
zwis-chen Maximum Mx und Minimum Mi kennzeichnet den Grad der 
Rauchigkeit. 



Die erwahnten drei sprecherspezif ischen Charakteris tika sind 
20 somit identif iziert und kbnnen fur die Sprachsynthese gezielt 
beeinfluftt werden. Dabei ist es insbesondere von Bedeutung, 
da£ bei der inversen Wavelet-Transformation die Manipulation 
eines einzelnen sprecherspezif ischen Charakteristikums nur 
dieses beeinflulit, die anderen perziptiv relevanten GroBen 
25 bleiben unberuhrt . Somit. kann die Grundf requenz gezielt 

verstellt werden, ohne da/3 dadurch die Rauchigkeit der Stimme 
beeinfluiit wird. 

Eine andere Einsatzmoglichkeit besteht in der Auswahl eines 
30 geeigneten Lautabschnitts zur konkatenativen Verkniipfung mit 
einem anderen Lautabschni tt , wobei beide Lautabschnitte 
urspriinglich von verschiedenen Sprechern in unterschiedlichen 
Kontexten aufgenommen wurden. Mit Ermittlung spektraler 
Sprachcharakteristika kann ein geeigneter zu verkniipf ender 
35 Lautabschnitt gefunden werden, da mit den Charakteristika 
Kriterien bekannt sind, die einen Vergleich von 
Lautabschnitten untereinander und somit eine Auswahl des 
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passenden Lautabschnitts automatisch nach bestimmten Vorgaben 
ermoglichen . 

Fig. 5 zeigt Schritte einer konkatenativen Sprachsynthese . 
Eine Datenbank wird mit einer vorgegebenen Menge 
naturlichgesprochener Sprache verschiedener Sprecher 
erstellt, wobei Lautabschnitte in der natiirlichgesprochenen 
Sprache identif iziert und abgespeichert werden. Es ergeben 
sich zahlreiche Reprasentanten fur die verschiedenen 
Lautabschnitte einer Sprache, auf die die Datenbank zugreifen 
kann. Die Lautabschnitte sind insbesondere Phoneme einer 
Sprache oder eine Aneinanderreihung soicher Phoneme, Je 
kleiner der Lautabschni tt , desto grower sind die 
Mbglichkeiten bei der Zusammenset zung neuer worter. So umfaftt 
die deutsche Sprache eine vorgegebene Menge von ca . 40 
Phonemen, die zur Synthese nahezu aller Worter der Sprache 
ausreichen. Dabei- sind unterschiedliche akustische Kontexte 
zu beriicksichtigen, je nachdem, in weichem Wort das jeweilige 
Phonem auf tritt . Nun ist es wichtig, die einzelnen Phoneme in 
den akustischen Kontext derart einzubetten, daft 
Diskontinuitaten, die vom menschlichen Gehor als unnaturlich 
und "synthetisch" empfunden werden, vermieden werden. Wie 
erwahnt stammer die Lautabschnitte von unterschiedlichen 
Sprechern und weisen somit verschiedene sprecherspezif ische 
Charakteristika auf-. Urn eine mogiichst naturlich wirkende 
Auflerung zu synthetisieren, ist es wichtig, die 
Diskontinuitaten zu minimieren. Dies kann erfolgen durch 
Anpassung der identif izierbaren und modif izierbaren 
sprecherspezif ischen Charakteristika oder durch Auswahl 
passender Lautabschnitte aus der Datenbank, wobei ebenfails 
die sprecherspezif ischen Charakteristika bei der Auswahl" ein 
entscheidendes Hilf smittel darstellen. 

In Fig. 5 sind beispielhaft zwei Laute A 507 und B 508 
dargestellt, die jeweils einzelne Lautabschnitte 505 bzw. 506 
aufweisen. Die Laute A 507 und 3 508 stammen jeweils aus 
einer gesprochenen Aulierung, wobei der Laut A 507 deutiich' 
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vom Laut B 508 verschieden ist. Eine Trennlinie 509 zeigt an, 
wo der Laut A 507 mit dem Laut B 508 verknupft werden soil. 
Im vorliegenden Fall sollen die ersten drei Lautabschnitte 
des Lautes A 507 mit den letzten drei Lautabschnitten des 
5 Lautes B 508 konkatenativ verknupft werden. 

Es wird entlang der Trennlinie 509 ein zeitliches Dehnen oder 
Stauchen (vergleiche Pfeil 503) der auf einanderf olgenden ' 
Lautabschnitte durchgef iihrt , urn den diskontinuierlichen 
10 Eindruck am Ubergang 509 zu vermindern. *' 

Eine Variante besteht in einem abrupten Ubergang der entlang 
der Trennlinie 509 geteilten Laute . Dabei kommt es jedoch zu 
den erwahnten Diskontinuitaten, die das menschliche Gehor als 

15 storend wahrnimmt . Ftigt man hingegen einen Laut C zusammen, 
dafi die Lautabschnitte innerhalb eines Ubergangsbereichs 501 
oder 502 berticksichtigt werden, wobei ein spektrales 
Abstandsmafl zwischen zwei einander zuordenbaren 
Lautabschnitten in dem jeweiligen Obergangsbereich 501 oder 

20 502 angepaBt wird (allmahlicher Ubergang zwischen den 

Lautabschnitten) . Als das Abstandsmafl herangezogen wird 
insbesondere im Wavelet-Raum -der euklidische Abstand zwischen 
den in diesem Bereich relevanten Koef f i zienten . 



25 
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Patent ansp ruche 



1. Verfahren zur Bestimmung spektraler Sprachcharakter istika 
in einer gesprochenen Aufierung, 

5 a) bei dem die Aufterung digi talisiert wird, 

b) bei dem die digitalisierte AuBerung einer Wavelet- 
Transformation unterzogen wird, 

c) bei dem anhand unterschiedlicher Transf ormationsstuf en 
der Wavelet-Transformation die sprecherspezif ischen 

10 Charakteristika bestimmt werden. 

2. Verfahren nach Anspruch 1, 

bei dem vor der Wavelet-Transformation eine gefensterte 
■ Transformation der digitalisierten Aufterung in einen 
15 Frequenzbereich durchgef Uhrt wird . 

3. Verfahren nach Anspruch 2, 

bei dem die Transformation in den Frequenzbereich mittels 
Fast-Fourier-Transformation durchgeflihrt wird. 
20 . 

4. Verfahren nach einem der vorhergehenden Anspriiche , 
bei dem in jeder Stufe der Wavelet-Transformation ein 
TiefpaBanteil und ein Hochpaftanteil eines zu 

transf ormierenden Signals ermi ttelt werden . 

25 

5.. Verfahren nach einem der vorhergehenden Anspriiche, 

bei dem ein Hochpaftanteil nach einem Realteil und einem 
Imaginarteil unterteilt wird. 

30 6. Verfahren nach einem der -vorhergehenden Ansprtiche, 
bei dem die Wavelet-Transformation mehrere 
Transf ormationsstuf enjomfaBt,. wobei die letzte 
Transf ormationsstuf e einen Gleichanteil der AuBerung in 
einer der Anzahl Trans f ormationsstuf en entsprechenden 

35 wiederholten TiefpaBf ilterung liefert. 



WO 99/59134 



PCT/DE99/01308 



7. Verfahren nach einem der vorhergehenden Anspruche, 

bei dem die sprecherspezif ischen Charakteris tika bestimmt 
sind durch: 

a) eine Grundf requenz der gesprochenen Aufterung; 

b) spektrale Hullkurve; 

c) einer Rauchigkeit der gesprochenen Aufterung. 

8. Verwendung des Verfahrens nach einem der Anspriiche 1 bis 
7 zur Sprachsynthese, 

wobei einzelne sprecherspezif ische Charakteristika ira 
Hinblick auf eine naturiich kiingende Aneinanderreihung 
von Sprachlauten arigepaBt werden. 

9. Verwendung des Verfahrens nach einem der Anspriiche 1 bis 
7 zur Sprachsynthese, 

wobei aus einer vorgegebenen Datenmenge diejenigen 
Sprachlaute anhand einzeiner spektraler 
Sprachcharakteristika ausgewahlt werden, die eine 
naturiich kiingende Aneinanderreihung von Sprachlauten 
gewahrleisten 



10. Anordnung zur Bestimmung spektraler Sprachcharakteristika 
in einer gesprochenen Aufterung 

mit einer Prozessoreinheit , die derart einger icht-et ist, 
daft folgende Schritte durchflihrbar sind: 

a) die Aufterung wird digitalisiert ; 

b) die digitalisierte Aufterung wird einer Wavelet- 
Transformation unterzogen; 

c) anhand unterschiedlicher Transformationsstuf en der 
Wavelet-Transformation werden. die sprecherspezif ischen 
Charakteristika bestimmt. 
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